Windows上部署flink1.17flink的下载链接进入页面后下滑找到ApacheFlink，然后找到对应版本，之后点击Binaries找到xxx-bin-scala-xxx.tgz文件下载下载完成后直接本地解压解压后进入bin目录新增两个.bat文件（直接复制下面内容）1.start-cluster.bat文件::###############################################################################::LicensedtotheApacheSoftwareFoundation(ASF)underone::ormor
Flink系列文章1、Flink1.12.7或1.13.5详细介绍及本地安装部署、验证2、Flink1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至onyarn运行4、介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与Kafka的source、sink介绍5、Flink的source、transformations、sink的详
记-flink实时数仓搭建、开发、维护笔记业务场景描述数仓架构数仓分层odsdimdwddws数仓建模注意项数仓建模开发规范命名规范问题与原因分析1、debezium采集pg表，数据类型问题2、业务库出现大批量刷表数据，debezium采集connector可能会挂3、业务库出现大批量刷表数据，实时计算任务会出现长时间延迟或内存溢出或任务失败3、业务库会修改维度表数据，导致实时任务出现数据延迟【或数据恢复耗时较长】4、多表关联多并发数据乱序5、多并发写入pg库表死锁6、明细数据一致性对比验证7、数据容错与恢复8、下游表没有数据或漏数分析9、实时思想10、多表关联比单表计算性能慢的原因分析11、
1.kafka能不能发送null消息？ 能！2flink能不能发送null消息到kafka？不能！publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();Propertiesproperties=newProperties();properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"9.135.68.201:909
Flink读取数据的5种方式从文件中读取数据从Socket中读取数据从Kafka中读取数据从MySQL中读取数据从自定义数据源读取数据从文件中读取数据这是最简单的数据读取方式。当需要进行功能测试时，可以将数据保存在文件中，读取后验证流处理的逻辑是否符合预期。程序代码：packagecn.jihui.flinkimportorg.apache.flink.streaming.api.environment.StreamExecutionEnvironmentobjectreadFile{defmain(args:Array[String]):Unit={valenv=StreamExecutio
一、报错内容“Couldnotinstantiatetheexecutor.Makesureaplannermoduleisontheclasspath”Exceptioninthread"main"org.apache.flink.table.api.TableException:Couldnotinstantiatetheexecutor.Makesureaplannermoduleisontheclasspath atorg.apache.flink.table.api.bridge.java.internal.StreamTableEnvironmentImpl.lookupExecu
我的hadoop版本是3.1.3，Flink版本是1.14。不知道是hadoop版本的原因还是Flink版本更新的原因。当我运行一个简单的Flink测试时，虽然结果出来了但是后面还跟着一段报错信息。测试命令：flinkrun-myarn-cluster-p2-yjm2G-ytm2G$FLINK_HOME/examples/batch/WordCount.jar报错信息：Tryingtoaccessclosedclassloader.Pleasecheckifyoustoreclassloadersdirectlyorindirectlyinstaticfields.Ifthestacktrac
升级flink1.14.4报错 Causedby:org.apache.flink.table.api.ValidationException:Unabletocreateasourceforreadingtable'default_catalog.default_database.new_buyer_trade_order2' CAUSEDBY:2022-03-1116:45:04,169INFOorg.apache.flink.yarn.cli.FlinkYarnSessionCli[]-DynamicPropertyset:metrics.reporter.influxdb.class
Kafka系列之：记录一次KafkaTopic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法一、背景二、解决方法三、实现自动发现新的分区一、背景生产环境Kafka集群压力大，Topic读写压力大，消费的lag比较大，因此通过扩容Topic的分区，增大Topic的读写性能理论上下游消费者应该能够自动消费到新的分区，例如flume消费到了新的分区，但是实际情况是存在flink消费者没有消费到新的分区二、解决方法出现无法消费topic新的分区这种情况，最简单的解决方法是重启flink消费者程序三、实现自动发现新的分区flink程序增加自动发现分区参数：flink.partition
1.前言目前，很多flink相关的书籍和网上的文章讲解如何对接kafka时都是使用的FlinkKafkaConsumer，如下：StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();Propertiesproperties=newProperties();//指定kafka的Broker地址properties.setProperty("bootstrap.servers","192.168.xx.xx:9092");//指定组IDproperties.setProperty("gr
